デジタル画像を修正する方法及び装置

专利摘要:
ユーザ１１８に対して表示されるデジタル画像１１０は、ユーザ１１８がデジタル画像１１０により表示されるシーン内に存在するという印象をユーザ１１８に与えるようにユーザ１１８の検出された少なくとも１つの特性の様相１２０を含めるように修正される。
公开号:JP2011513871A
申请号:JP2010550287
申请日:2009-03-03
公开日:2011-04-28
发明作者:ハルム；ジェイ；ダブリュ ベルト；コルネリス；ピー ヤンセ
申请人:コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ；
IPC主号:G06T15-60

专利说明:

[0001] 本発明は、デジタル画像を修正する方法及び装置に関する。]
背景技術

[0002] デジタルイメージングの品質を改良する多くの技術が開発されている。特に、イメージングをよりリアルにし、より２次元的でなくする技術が開発されている。１つの既知の技術は、光源により生成された影又は陰影を追加することである。例えば、GB2267409及び論文IEEE Transactions on multimedia, vol. 1, No. 2, June 1999 "Augmented Reality with Automatic Illumination Control Incorporating Ellipsoidal Models" Jurgen Stauderにより開示されるように、多くの技術が開発されている。]
[0003] しかしながら、これらの技術は、十分には成功していない。特にビデオ電話のようなインタラクティブシステムにおいて、"そこにあるかのように"見ているものに更に没頭したいというユーザによる増大する要求が存在する。]
[0004] 広帯域インターネットにアクセスする人の数が増大するにつれて、ボイス・オーバ・ＩＰ（ＶｏＩＰ）アプリケーションは、ますます使用されており、インターネットビデオ電話は、より幅広く利用可能になる。]
[0005] この分野の最近の研究の多くは、信号処理手段によりビデオ電話のオーディオビジュアル品質を向上させることに集中している。これまで、高いオーディオビジュアル品質及び低い通信遅延が、ビデオ電話の大規模な進歩に対する鍵として認識されている。]
[0006] 完全なオーディオビジュアル品質でさえ、３Ｄ音声を持つ非常に大きな画面上の３Ｄ画像でさえ、及び最小の通信遅延で、媒介される人対人コミュニケーション（ビデオ電話）と同じ場所での人対人コミュニケーションとの間に根本的な違いが存在する。１つのこのような様相は、あなたが他のだれかと１つの部屋の中にいる場合に、あなたが、あなたの存在により前記部屋の中の照明条件に影響を与え、すなわち光源の場所に依存して、あなたが、壁及び／又はあなたが話している人の上に影を作るという事実に関係する。ビデオ電話では、あなたは、他の部屋の照明条件に影響を与えず、したがって、最高のオーディオビジュアル品質でさえも"そこにいるかのような"感覚は存在しない。]
発明が解決しようとする課題

[0007] 本発明は、画像内でシーンを表示し、観察者が前記シーンを見ている間、前記観察者が前記シーン内に存在するという知覚を前記観察者に与えるシステムを提供することを目的とする。]
課題を解決するための手段

[0008] これは、本発明の一態様によると、ユーザに表示されるデジタル画像を修正する方法により達成され、前記方法は、デジタル画像により表示されるシーンを見ているユーザの少なくとも１つの特性を検出するステップと、前記ユーザが前記デジタル画像により表示される前記シーン内に存在するという印象を前記ユーザに与えるように前記検出された少なくとも１つの特性の様相を含めるように前記デジタル画像を修正するステップとを有する。]
[0009] これは、本発明の他の態様によると、ユーザに表示されるデジタル画像を修正する装置によっても達成され、前記装置は、デジタル画像により表示されるシーンを見るユーザの少なくとも１つの特性を検出する検出手段と、前記ユーザが前記デジタル画像により表示される前記シーン内に存在するような印象を前記ユーザに与えるように前記検出された少なくとも１つの特性の様相を含めるように前記デジタル画像を修正する処理手段とを有する。]
[0010] 一実施例において、前記ユーザの前記少なくとも１つの特性は、前記ユーザの場所、前記ユーザのシルエット、前記ユーザの視点から選択される少なくとも１つである。前記様相は、影でありうる。]
[0011] このようにして、前記シーンを見る前記ユーザは、前記シーンを見ている間、前記シーン内の前記ユーザの影を見て、そこにいる感覚及び前記シーン内での増大された没頭（immersion）を前記ユーザに与える。]
[0012] この効果は、前記ユーザの近くに仮想的な光源を提供し、前記仮想的な光源により投じられた前記ユーザの影を決定し、デジタル画像に前記決定された影を追加することにより観察者に対して表示される前記デジタル画像を修正することにより達成されることができる。]
[0013] 前記デジタル画像は、前記デジタル画像の各画素が前記決定された影の領域内であるか否かを決定し、次いで、前記決定された影の領域内であると決定される場合に前記画素の輝度を修正することにより修正されることができる。]
[0014] 一実施例において、前記ユーザの動きが考慮に入れられ、前記様相は、この動きに基づいて調整され、前記デジタル画像は、前記調整された様相を含むように修正される。例えば、前記ユーザの動きは、前記ユーザのシルエットのような特性の変化に対して前記画像を修正することにより考慮に入れられる。]
[0015] このようにして、前記修正されたデジタル画像は、前記シーンを見ている間、前記ユーザが前記シーン内に存在するリアリズムを維持する。]
[0016] 前記リアリズムを増大するために、前記シーン内の対象の深度情報が決定されることができ、前記デジタル画像は、前記深度情報に基づいて前記様相を調整することを含むことができる。]
[0017] 前記デジタル画像は、前記デジタル画像の複数のフレームを有するビデオ画像であってもよく、前記デジタル画像を修正するステップは、各フレームの前記画像を修正するステップを含む。]
[0018] 本発明の前記様相は、デジタル画像が遠い側（far-side）のサイトにおいて生成され、近い側（nearside）のサイトにおける表示のためにオーディオビジュアル通信リンクを介して送信されるビデオ電話に含められることができる。前記近い側のサイトは、前記遠い側のサイトから離れている。前記近い側のサイトにおける前記ユーザに対するリアリズムを向上させるために、及び場合により対面コミュニケーションしているような前記遠い側のサイトにおけるユーザに対するリアリズムをも向上させるために、前記デジタル画像の前記シーン内に含められる前記遠い側のサイトにおける対象の少なくとも１つの特性が検出され、前記デジタル画像が、前記デジタル画像内に前記少なくとも１つの特性の様相を含める。]
[0019] 本発明の他の態様によると、遠い側のサイトから近い側のサイトにオーディオを関連付けられたデジタル画像を送信するシステムが提供され、前記システムは、遠い側のサイトと近い側のサイトとの間のオーディオビジュアル通信リンクと、前記遠い側のサイトにおいてデジタル画像を生成する手段と、前記オーディオビジュアル通信リンクを介して前記近い側のサイトに前記生成されたデジタル画像を送信する送信手段と、前記近い側のサイトに配置された仮想的な光源と、前記仮想的な光源により投じられた前記近い側のサイトにおけるユーザの影を決定し、前記送信されたデジタル画像に前記決定された仮想的な影を追加することにより前記送信されたデジタル画像を修正する処理手段と、前記ユーザに対して前記修正されたデジタル画像を表示する表示手段とを有する。]
[0020] 前記処理手段は、前記仮想的な光源により投じられた前記生成されたデジタル画像の前記シーン内の前記遠い側のサイトにおける少なくとも１つの対象により投じられる影を決定し、前記決定された影を含めるように前記デジタル画像を修正することができる。]
[0021] 本発明のより完全な理解のために、ここで添付の図面と併せて以下の説明が参照される。]
図面の簡単な説明

[0022] 本発明の実施例を組み込むビデオ電話アプリケーションにおいてディスプレイを持つ近い側のサイト（部屋）の単純な概略図を示す。
本発明の実施例を組み込むビデオ電話アプリケーションにおいてディスプレイを持つ近い側のサイト（部屋）の単純な概略図を示す。
本発明の実施例を組み込むビデオ電話アプリケーションにおいてディスプレイを持つ近い側のサイト（部屋）の単純な概略図を示す。
本発明の実施例を組み込むビデオ電話アプリケーションにおいてディスプレイを持つ近い側のサイト（部屋）の単純な概略図を示す。
本発明の他の実施例の"アンビライト"動作の変形例を示すビデオ電話アプリケーションのディスプレイを持つ近い側のサイトの単純な概略図を示す。
本発明の他の実施例の"アンビライト"動作の変形例を示すビデオ電話アプリケーションのディスプレイを持つ近い側のサイトの単純な概略図を示す。
本発明の他の実施例の"アンビライト"動作の変形例を示すビデオ電話アプリケーションのディスプレイを持つ近い側のサイトの単純な概略図を示す。
使用中の本発明の実施例のビデオ電話システムの単純な平面図である。
図３の構成における仮想的な光源及び影範囲を示す。
近い側のユーザにより知覚される遠い側のサイト内の仮想的な影を示す。
図３の実施例の近い側のサイトにおけるカメラ構成を示す。
図７ａは遠い側の画像の例を示し、図７ｂは本発明の実施例による図７ａの画像のセグメンテーションの結果を示す。
本発明の実施例によるディスプレイの画素が影の画素であるかどうかの確認の例を示す。
本発明の実施例によるディスプレイの画素が影の画素であるかどうかの確認の他の例を示す。
図１０ａは遠い側のユーザの影が追加される近い側のサイトにおいて見られる遠い側の画像を示し、図１０ｂは近い側のユーザの影が追加される近い側のサイトにおいて見られる図１０ａの遠い側の画像を示す。] 図１０ａ 図１０ｂ 図３ 図７ａ 図７ｂ
実施例

[0023] 本発明の応用の一例は、図に示される。図１Ａを参照すると、ディスプレイ１１０を含む空の近い側の部屋（又はサイト）１００が示され、ディスプレイ１１０は、ビデオ電話システムの遠い側のユーザ１１２の画像を表示する。図１Ｂに示されるように、仮想的な光源１１４が、近い側のサイト１００に（前記近い側の部屋内に）設けられる。遠い側のサイトにおける環境に対する遠い側のユーザ１１２の場所、光源１１４の場所及び近い側のユーザの視点から、遠い側のユーザ１１２の仮想的な影１１６が計算され、近い側のサイト１００において受信及び表示される画像に追加され、これにより前記遠い側のユーザが近い側のサイト１００にいて、仮想的な光源１１４により作用されるように見える。図１Ｃは、近い側のサイト１００において仮想的な光源１１４を移動する効果を示し、これは、仮想的な影１１６の変化を引き起こす。図１Ｄは、仮想的な光源１１４とディスプレイ１１０との間に配置された前記近い側のサイトにおける近い側のユーザ１１８の効果を示す。近い側のユーザ１１８により投じられる仮想的な影は、近い側のユーザ１１８により見られるディスプレイ１１０に追加される。遠い側のユーザ１１２の仮想的な影１１６は、彼／彼女の後ろの壁に示される。] 図１Ａ 図１Ｂ 図１Ｃ 図１Ｄ
[0024] 少なくとも１つのカメラが、近い側のサイト１００においてディスプレイ１１０の近くの固定の所定の場所に配置され、カメラビデオ信号から、近い側のユーザ１１８の場所が計算される。この情報から、仮想的な光源１１４により投じられる近い側のユーザ１１８の仮想的な影１２０が、決定される。近い側のユーザ１１８の仮想的な影１２０は、前記表示される画像に追加され、遠い側のユーザ１１２及び彼／彼女の後ろの壁上の影である。前記影を計算するために、近い側のサイト１００における仮想的な光源１１４の位置、ディスプレイ１１０に対する両方の側のユーザ１１２、１１８の深度位置、及び前記遠い側のサイトにおける壁の深度位置が、以下に説明されるように考慮に入れられる。]
[0025] 影計算は、近い側のサイト１００においてリアルタイムで生じ、近い側のユーザ１１８にのみ見える。他の部屋の中の彼／彼女の影を見ることにより、向上された存在感が、前記近い側のユーザに対して作成される。この効果をより自然にするために、遠い側のユーザ１１２の影１１６も、前記画像内に提供される。]
[0026] 図２Ａ−Ｃは、アンビライトテレビ（Ambilight TV）により提供されるような壁に光を投影する表示画面内に取り付けられた追加の光源の効果を示し、これは、アンビライトテレビセット上に設けられたディスプレイにおいて使用されることができる。近い側の部屋２００は、画面上の光の印象が知覚的に心地よくなるように前記壁上に拡張されるように、ビデオコンテンツの分析からアンビライトの色及び強度を生成するアンビライトテレビを組み込む。結果は、増大された'没頭'感である。この実施例によると、前記アンビライトの計算は、ディスプレイ２１０の中又は近くの既知の位置に取り付けられたカメラ（図示されない）により記録される近い側のユーザ２１８の画像を設定する。仮想的な光源２１４により投じられる影印象２２０は、ディスプレイ２１０を越えて広がる。] 図２Ａ
[0027] 図３ないし７を参照して、前記仮想的な影を決定する方法が記載される。ビデオ電話の例において、近い側のサイト３０３における近い側のユーザ２０１は、オーディオビジュアル通信リンクを介して遠い側のサイト３０７における遠い側のユーザ２０５と通信する。遠い側のサイト３０７は、近い側のサイト３０３から離れており、図３に示されるようにはなっていない。各ユーザ３０１、３０５は、ディスプレイ３０９、３１３を持つ。ディスプレイ３０９からの近い側のユーザ３０１の距離d2は、ディスプレイ３０９の近くに配置されたカメラから決定される。前記カメラは、近い側のユーザ３０１の動き、したがってd2の変化を検出する。仮想的な光源３１１は、近い側のユーザ３０１がディスプレイ３０９と仮想的な光源３１１との間に配置されるように近い側のサイト３０３において近い側のユーザ３０１の後ろに設けられる。仮想的な光源３１１の正確な場所は、既知であり、したがって近い側のユーザ３０１の決定された場所から、距離d1が決定される。同様に、遠い側のサイト３０７においてディスプレイ３１３の近くに配置されたカメラから、遠い側のユーザ３０５の場所が決定され、したがって遠い側のディスプレイ３１３からの遠い側のユーザ３０５の距離d3が決定される。更に、遠い側のユーザ３０５の後ろの壁３１５の場所が、前記カメラにより決定され、したがって、壁３１５からの遠い側のユーザ３０５の距離d4が決定される。] 図３
[0028] 仮想的な光源が遠い側のサイト３０７にも設けられることができ、遠い側のユーザ３０５に対して同様な効果を提供することができると理解されることができる。単純のため、この実施例は、近い側のユーザ３０１により見られる効果を参照して記載される。したがって、この実施例の説明のために、前記近い側のサイトは、前記遠い側のサイトからオーディオビジュアル信号を受信し、この理由で、これ以降、通信セットアップの受信側と見なされる。前記遠い側のサイトは、結果的に送信側である。]
[0029] 図３に示されるように、前記サイトは、座標x, y, zが実数（したがって連続的な値）である座標系に関して規定される。両方の部屋（サイト）の間の壁は、z=0である面である（前記壁は、特定の厚さで描かれているが、ここでは説明の目的で無限に薄いと見なされる）。前記仮想的な光源の場所は、ベクトルplight=(xlight, ylight, zlight)tにより示され、ここで(・)tはベクトル転置を示し、この場所は、一回選択され、固定される。距離d1ないしd4はz軸に沿い、画面の左及び右x座標はxsl及びxsrであり、前記画面の上部及び底部y座標はそれぞれyst及びysbである（yst及びysbは図３に示されていない）。] 図３
[0030] 図４は、どのように仮想的な光源３１１が、近い側のユーザ３０１及び近い側の（仮想的な）光源３１１により引き起こされる遠い側のサイト３０７における影を作成するかを示す。この説明の目的で、前記ディスプレイは、近い側のサイト３０３及び遠い側のサイト３０７を接続する壁の孔により置き換えられる。] 図４
[0031] 投じられる影３１９は、仮想的であり、適切な画像がそのデジタルビデオ処理により前記表示される画像に追加され、これにより近い側のサイト３０３においてのみ見える。]
[0032] 前記仮想的な影を作成するために、いずれの画像画素値が修正されなくてはならないかが決定される。これを行うために、近い側のユーザ３０１の視点３１７が、図５に示されるように考慮に入れられる。仮想的な光源３１１、近い側のユーザの体３０１、ディスプレイ３０９の近い側のユーザの視点３１７（peye）、遠い側のユーザの体３０５、及び遠い側の背景（壁３１５）の３Ｄ位置を知ると、前記影を示すように修正されるべき前記表示画像内の画素が、計算されることができる。] 図５
[0033] 複数の近い側のユーザが存在する場合、複数の視点が存在する。原理的には、各異なる視点から、前記ディスプレイ上でレンダリングされる影は、異なるべきである。これは、例えばレンチキュラレンズ設計に基づく又はバリア設計に基づくマルチビューディスプレイを用いて行われることができる。影効果の知覚的重要性は、主に、前記近い側の部屋の中の前記ユーザの影が同じ人の動きと対応して移動するという概念にある。しかしながら、各異なる視点に対して異なる影をレンダリングすることは、知覚的にあまり重要ではない。したがって、多視点のレンダリングは無視されることができ、１つの影のみが計算される必要がある。結果として、通常の２Ｄディスプレイを使用すれば十分である。]
[0034] 結果として、近い側のユーザの正確な視点を考慮に入れることは必要ではない。したがって、視点距離値d2のみが必要とされ、視点角度は９０度（前記ディスプレイに垂直）にセットされる。代替的には、前記近い側のユーザの視点場所の正確な情報が、考慮に入れられてもよい。計算を単純化するために、近い側の視点位置特定の良好な近似は、以下のように行われ、すなわち、d2が固定値にセットされる。次に、P. Viola and M.J. Jones, "Robust real-time face detection," International Journal of Computer Vision, vol. 57, no. 2, pp. 137-154, 2004によって開示されるような、周知の顔検出アルゴリズムが、カメラ画像内の長方形の顔領域を見つけるのに使用される。この領域の中心は、この場合、前記近い側のユーザ視点に向けた角度として取られる。]
[0035] 次に、リアルタイムで、前記近い側のユーザが３Ｄ環境において占める空間のマップが測定される。これは、２Ｄセグメンテーションマップに単純化される。前記ディスプレイに近い固定の既知の位置に取り付けられたカメラ６０１が使用され、図６に示されるように、計算の単純のため、前記カメラは、前記ディスプレイの垂直中心線に合わせられている。] 図６
[0036] カメラシーケンスから、近い側のセグメンテーションマスクは、背景の対象（すなわち前記部屋）が静止しており、前景の対象（すなわち前記ユーザ）が非静止であるという情報に基づく既知の画像対象セグメンテーション技術の１つを使用して達成される。１つのこのような技術は、背景減算法として文献において既知であり、例えば、P Noriega and O Bernier, "Real Time Illumination Invariant Background Subtraction Using Local Kernel Histogram," British Machine Vision Conference BMVC06 (III:979)を参照する。]
[0037] 近い側のセグメンテーションマップ（又は画像）は、



により示され、ここでc及びrはそれぞれ整数の列及び行インデックスであり、Wne及びHneは前記近い側のセグメンテーション画像のそれぞれ水平及び垂直画素量である。Dne(c,r)は、前記カメラ画像において前記近い側のユーザが検出された場所においてのみ非ゼロ値を持つ。図６に描かれた状況において、非ゼロDne(c,r)は、前記ディスプレイから距離d2における前記近い側のサイト内の対象と対応し、すなわちユーザ３０１のシルエットを検出する。距離d2が未知である場合、これは、所定の応用に対する前記シーンの幾何構成の先験的情報に依存して何らかの値に固定される。d2の正確性は決定的ではない。] 図６
[0038] また、前記遠い側のサイトから、通常の受信された画像データの次に、セグメンテーション画像が、画像フレーム期間毎に必要とされる。このセグメンテーションマスクは、前記送信側において計算されて、他の側に送信されるか、又は（例えば背景減算法を使用して）受信側において入ってくるビデオから計算されるかのいずれかであり、例は、図７ａ及びｂにおいて示される。好ましくは、d3及びd4が既知であるように、フレーム期間毎の"深度追加画像"ピクチャが受信される。代替的には、前記画像のセグメンテーション及び前記応用の幾何構成の先験的情報に基づく何らかの固定値にd3及びd4を単純に事前規定することは、使用されることができる。] 図７ａ
[0039] 近い側のサイト３０３におけるディスプレイ３０９に示される遠い側の輝度画像は、



により示され、対応するセグメンテーションマップ（又は画像）は、



により示され、ここで再びc及びrは、それぞれ整数の列及び行インデックスである。Wfe及びHfeは、前記セグメンテーションマップ及び前記遠い側の画像のそれぞれ水平及び垂直画素量である。Dfe(c,r)は、前記カメラ画像において近い側の人が検出された場所において非ゼロ値を持ち、背景（壁）に対してゼロ値を持ち、図７右側を参照する。図６に描かれた状況において、非ゼロDfe(c,r)は、前記表示面z=0から距離d3において前記遠い側の部屋内の対象と対応し、ゼロDfe(c,r)は。前記表示面z=0から距離d3+d4における対象（前記壁）と対応する。] 図６ 図７
[0040] 次に、前記近い側のサイトにおける画面上に示される画像における所望の影効果が、計算される。]
[0041] 前記画像内の画素の各行は、行内の各画素が影画素であるか否かを決定するためにスキャンされる。影画素ではない場合、輝度Ife(c,r)は、不変である。影画素である場合、輝度Ife(c,r)は



によって修正され、ここでsは前記影による輝度の所望の降下を反映する数である。ほとんどのリアリズムに対して、sは、前記影強度が前記仮想的な光源、前記近い側及び遠い側のユーザ、及び前記遠い側の壁の間の距離に依存して変化するように前記シーンの全ての幾何パラメータに依存するように選択される。単純のため、しかしながら依然としてリアルな効果を提供するように、sは、前記影が前記遠い側のユーザから来る場合に小さな定数s=sfeであり、前記影が前記近い側のユーザから来る場合にわずかに大きな定数s=sneであるように選択されることができる。]
[0042] 前記遠い側の画像内の画素が影画素であるか否かを決定するために、遠い側の画像Ife(c,r)内のcl番目の列及びrl番目の行における画素が検討され、(x,y,z)座標系の対応する場所が計算される。この場所は、ベクトルalにより示され、



として計算される。]
[0043] ここで|・|は絶対値を意味する。図８の例の状況において、深度マップDfe(c,r)は、(cl,rl)においてゼロであり、この結果、前記遠い側の部屋の背景（壁）に対応する画素であると決定される。この場合、peye及びalを通る線と（遠い側の壁である）面z=d3+d4との交点として点a2のサイト座標は、３つの未知数κ、λ及びμを持つ以下の３つの線形方程式のセット、すなわち



を解くことにより計算される。] 図８
[0044] （６）の解かれた未知数がκ0、λ0及びμ0により示される場合、a2は、



により与えられる。]
[0045] 図９の例の状況において、Dfe(c,r)は、(cl,rl)において非ゼロであり、a2は、peye及びalを通る線と面z=d3との交点として計算される。これは、式６及び７においてd4=0にセットすることにより行われることができる。] 図９
[0046] 次に、a2及びplightを通る線が前記近い側のユーザにより占められる空間を横断するか否かが確認される。場所a3は、当該線と面z=-d2との交点の場所として計算され、図８を参照し、３つの未知数を持つ３つの方程式に達する。] 図８
[0047] φ、ρ及びσについて解くと、φ0、ρ0及びσ0を与え、a3は、



になる。]
[0048] ここで、前記(x,y,z)座標系からのa3の実数値要素は、近い側のセグメンテーションマスクDne(c,r)に対する(c,r)座標に変換され、(c3,r3)による座標により示される。セグメンテーション画像Dne(c,r)が、正確にz=-d2により規定される垂直画像面内の座標範囲x∈[xcr,xcl]及びy∈[yct,ycb]内にあると推定され、図６を参照する。図６における座標xcl及びxcrは、前記カメラにより獲得された最も左及び右の画像境界を規定する。同様に、（描かれていない）座標yct及びycbは、最も上及び下のカメラ画像境界を規定し、この結果、



である。] 図６
[0049] 式（１０）のc3及びr3の値は、実数であり、画像インデックスとして使用される前に最も近い整数に丸められる。代替的には、より正確に、c3及びr3は丸められず、非整数場所における画像から画素値をフェッチする場合に双一次画像補間が適用される。]
[0050] 同じように、点a4の場所が計算され、これは、peye及びa2を通る線と面z=0との交点であり、図８及び図９を参照する。最終的に、対応する遠い側の画像座標c4及びr4が、a3、c3及びr3の計算の方法と同様に計算される。] 図８ 図９
[0051] これらの計算から、ここで、遠い側の画像Ife(c,r)内の場所(c1,r1)における画素が影画素であるか否かを決定することが可能である。]
[0052] 画素Ife(c1,r1)は、a3が前記近い側のユーザの場所と一致する場合、したがって、
Dne(c3,r3)≠0 （１１）
である場合に近い側のユーザの影画素である。]
[0053] 画素Ife(c1,r1)は、３つの条件が満たされる、すなわち、近い側のユーザの影画素ではなく、遠い側のユーザに属する画素ではなく（したがってa2が壁の画素である）、peye及びa2を通る線が前記遠い側のユーザの場所と交差する場合に、遠い側のユーザの影画素である。したがって、画素Ife(c1,r1)は、
Dne(c3,r3)=0, かつ Dfe(c1,r1)=0, かつ Dfe(c4,r4)≠0 （１２）
である場合に遠い側のユーザの影画素である。]
[0054] 式（１１）の条件が満たされる場合、式（４）の影係数sは、s=sne=30にセットされる（範囲[0,255]内の画像輝度値を仮定する）。式（１２）の条件が満たされる場合、s=sne=20がセットされる。図１０ａは、左側に、前記遠い側の人の仮想的な影が描かれる例（図１Ｂ又はＣの状況に対応する）を示し、図１０ｂにおいて、右側に、前記近い側及び遠い側の両方の人の仮想的な影が示される例（図１Ｄの状況に対応する）を示す。] 図１０ａ 図１０ｂ 図１Ｂ 図１Ｄ
[0055] 図１０ｂにおいて、右側に、前記近い側の人の頭部の影が前記遠い側の人の顔の上に部分的に落ち、前記影の残りの部分が壁の上に落ち、明らかに２つの遠い側の対象の間の深度差が考慮に入れられる（影の場所のシフトが存在する）効果に注意する。これは、より自然な効果を達成する。] 図１０ｂ
[0056] 各時間フレームに対して、前記ユーザの現在のシルエットは、上記のように検出され、前記現在のシルエットの対応する影は、ユーザが移動すると前記影が対応して移動するように決定される。]
[0057] 本発明は、"そこにいる"感覚を作成するためにビデオ電話及びビデオ会議システムにおいて応用されることができる。代替的には、仮想的な環境（ゲーム、セカンドライフ）における自身の影の作成に対して応用されることもできる。]
[0058] 本発明は、ゴールが"あなたがそこにいるかのような"体験を獲得、共有及び（追）体験することができることであるアプリケーション内で使用されることもできる。記録された体験の実物のような全感覚再作成に対して、例えばあなたの休日の映画を視聴することに対して、観察者がこれを視聴している間に、彼ら自身の生活の影が休日シーンにおいてリアルタイムで示され、そこにいる感覚及び増大された没頭を与える。]
[0059] 本発明の実施例は、添付の図面に図示され、先行する記載に記載されているが、本発明が、開示された実施例に限定されないが、以下の請求項に記載された本発明の範囲から逸脱することなしに多くの修正例が可能であると理解される。]

权利要求:

請求項1
ユーザに表示されるデジタル画像を修正する方法において、デジタル画像により表示されるシーンを見ているユーザの少なくとも１つの特性を検出するステップと、前記ユーザが前記デジタル画像により表示される前記シーン内に存在するという印象を前記ユーザに与えるように前記検出された少なくとも１つの特性の様相を含めるように前記デジタル画像を修正するステップと、を有する方法。
請求項2
前記ユーザの前記少なくとも１つの特性が、前記ユーザの場所、前記ユーザのシルエット、前記ユーザの視点、から選択される少なくとも１つである、請求項１に記載の方法。
請求項3
前記様相が影である、請求項１又は２に記載の方法。
請求項4
前記検出するステップが、前記ユーザの近くに仮想的な光源を提供するステップと、前記仮想的な光源により投じられた前記ユーザの影を決定するステップと、前記デジタル画像に前記決定された影を追加することにより前記ユーザに表示される前記デジタル画像を修正するステップと、を有する、請求項３に記載の方法。
請求項5
前記デジタル画像を修正するステップが、前記デジタル画像の各画素が前記決定された影の領域内であるか否かを決定するステップと、前記決定された影の領域内であると決定される場合に前記画素の輝度を修正するステップと、を含む、請求項４に記載の方法。
請求項6
前記検出するステップが、前記ユーザの少なくとも１つの特性の変化を検出するステップと、前記少なくとも１つの特性の変化に基づいて調整された様相を含めるように前記デジタル画像を修正するステップと、を有する、請求項１ないし５のいずれか一項に記載の方法。
請求項7
前記デジタル画像が、前記シーン内の対象の深度情報を持ち、前記デジタル画像を修正するステップが、前記深度情報に基づいて前記様相を調整するステップを含む、請求項１ないし６のいずれか一項に記載の方法。
請求項8
前記デジタル画像が、前記デジタル画像の複数のフレームを有するビデオ画像であり、前記デジタル画像を修正するステップが、各フレームの画像を修正するステップを含む、請求項１ないし７のいずれか一項に記載の方法。
請求項9
請求項１ないし８のいずれか一項に記載の方法を実行する複数のプログラムコード部分を有するコンピュータプログラム。
請求項10
ユーザに表示されるデジタル画像を修正する装置において、デジタル画像により表示されるシーンを見ているユーザの少なくとも１つの特性を検出する検出手段と、前記ユーザが前記デジタル画像により表示される前記シーン内に存在するという印象を前記ユーザに与えるように前記検出された少なくとも１つの特性の様相を含めるように前記デジタル画像を修正する処理手段と、を有する装置。
請求項11
前記ユーザの前記少なくとも１つの特性が、前記ユーザの場所、前記ユーザのシルエット、前記ユーザの視点、から選択される少なくとも１つである、請求項１０に記載の装置。
請求項12
前記様相が影である、請求項１０又は１１に記載の装置。
請求項13
前記装置が、前記ユーザの近くに配置された仮想的な光源と、前記仮想的な光源により投じられた前記ユーザの影を決定し、前記デジタル画像に前記決定された影を追加することにより前記ユーザに表示される前記デジタル画像を修正する前記処理手段と、を有する、請求項１２に記載の装置。
請求項14
遠い側のサイトから近い側のサイトにオーディオを関連付けたデジタル画像を送信及び表示するシステムにおいて、遠い側のサイトと近い側のサイトとの間のオーディオビジュアル通信リンクと、前記遠い側のサイトにおいてデジタル画像を生成する手段と、前記オーディオビジュアル通信リンクを介して前記近い側のサイトに前記生成されたデジタル画像を送信する送信手段と、前記近い側のサイトに配置された仮想的な光源と、前記仮想的な光源により投じられた前記近い側のサイトにおけるユーザの影を決定し、前記送信されたデジタル画像に前記決定された仮想的な影を追加することにより前記送信されたデジタル画像を修正する処理手段と、前記ユーザに対して前記修正されたデジタル画像を表示する表示手段と、を有するシステム。
請求項15
前記処理手段が、前記仮想的な光源により投じられた前記生成されたデジタル画像の前記シーン内の前記遠い側のサイトにおける少なくとも１つの対象により投じられた影を決定し、前記決定された影を含めるように前記デジタル画像を修正する、請求項１４に記載のシステム。